Your Retriever Already Knows: Distribution-Shape QPP for RAG Retrieval Sufficiency
你的检索器已经知道:面向RAG检索充分性的分布形状QPP
🧭 RAG检索充分性预测 · 分布形状QPP ★ 深度解读
Department of Mathematics, FNSPE CTU in Prague · Institute of Information Theory and Automation, Czech Academy of Sciences
24个分布形状特征2ms预测RAG检索充分性,AUROC 0.856超过LLM judge 0.649
📌 工作参考价值(4 点)
- 在电商/搜索推荐RAG链路中,可以用检索/召回分数向量的分布形状特征(top1-top2 gap、top-10 std、decay slope、bimodal gap、gap concentration等)构造轻量「检索充分性/置信度」模型,判断top-k是否含可回答结果;无需读商品内容或调用LLM,2ms级在线可自动触发query改写、扩大召回或直接生成答案。
- LLM judge不要单独做置信度,把其分数作为额外特征加入小分类器(Logistic/Ridge/MLP)形成hybrid:在安全关键/对抗query上AUROC更高(SÚJB adversarial-detection 0.954),且误答率从12–16%压到6–7%;若LLM推理已在链路中,这种as-feature组合比单独judge更值得用。
- 多领域/多站点迁移建议用lean特征子集:全量24特征LODO从0.856掉到0.706,而13特征S1-Lean(8分布+5query-surface)恢复到0.719并改善校准;跨域部署优先选lean子集而非全量模型。
- 对无答案/对抗query检测,分数分布形状尤其有效:unanswerable query的top-k分数分布平坦,S1在SÚJB对抗检测AUROC 0.934 vs MaxSim 0.489;可作为推荐系统防冷启动、防误导、防幻觉的置信度开关。